Ia H'Drai vốn là tên gọi địa phương của sông Sa Thầy, con sông chảy ở vùng thung lũng nằm giữa hai dãy núi lớn chạy song song theo chiều Bắc - Nam của huyện này. Trước đây, con sông còn có một số tên gọi khác như Đăk Hơdrai, Nam Sathay (của người Lào) hoặc Nậm Sa Thầy (đã được Việt hóa).[6]

Ghi chép sớm nhất về vùng đất này là trong tác phẩm Les Jungles moïs (Rừng Mọi) xuất bản năm 1912 của nhà thám hiểm Henri Maitre, trong đó ông mô tả một số làng của người Gia Rai, Rơ Măm mà ông đã gặp khi đi dọc theo thung lũng sông Sa Thầy.[7]

Trước năm 2013, địa bàn huyện Ia H'Drai ngày nay vốn thuộc xã Mô Rai, huyện Sa Thầy.

Ngày 20 tháng 12 năm 2013, một phần diện tích và dân số của xã Mô Rai được tách ra để thành lập thêm 3 xã: Ia Dom, Ia Đal và Ia Tơi[8].

Ngày 11 tháng 3 năm 2015, Ủy ban Thường vụ Quốc hội ban hành Nghị quyết 890/NQ-UBTVQH13 về việc điều chỉnh địa giới hành chính huyện Sa Thầy để thành lập huyện Ia H'Drai, tỉnh Kon Tum. Theo đó, thành lập huyện Ia H'Drai trên cơ sở tách 3 xã: Ia Dom, Ia Đal và Ia Tơi thuộc huyện Sa Thầy.[1]

Sau khi thành lập, huyện Ia H'Drai có 98.013,22 ha diện tích tự nhiên và 11.644 người với 3 xã trực thuộc. Huyện lỵ của huyện đặt tại xã Ia Tơi.